Divergence de Kullback-Leibler \(D_{KL}(p\parallel q)\)
Quantité définie par : $$D_{KL}(p\parallel q)=\sum_{x\in\mathcal X}p_X(x)\log_2\left(\frac{p_X(x)}{q_{X^\prime}(x)}\right)\quad\text{ avec }\quad\begin{cases} p_X(x)={\Bbb P}(X=x)\\ q_{X^\prime}(x)={\Bbb P}(X^\prime=x)\end{cases}$$

• permet de mesurer la dissimilarité entre deux sources \(X\) et \(X^\prime\) à valeur dans le même alphabet
• inégalité de Gibbs : \(D_{KL}(p\parallel q)\geqslant0\)
• on a \(D_{KL}(p\parallel q)=0\) \(\iff\) \(\forall x\in\mathcal X,p_X(x)=q_{X^\prime}(x)\)

Questions de cours

Démontrer l'inégalité de Gibbs.

On dérive deux fois \(-\log_2\) pour montrer qu'elle est strictement convexe.

On utilise ensuite l'Inégalité de Jensen pour conclure.

Le cas d'égalité se fait assez rapidement étant donné que \(p_X\) et \(q_{X^\prime}\) sont deux distributions de probabilité.

'information